Очевидно, что научная деятельность нуждается в объективной оценке. Существовавшая до недавнего времени повсеместно и остающаяся актуальной до сих пор в ряде организаций ориентация на показатели публикационной активности не решает задачу в полной мере. Как показывает практика, университеты и научные учреждения начинают использовать самые разные подходы. В ходе вебинара, проведённого компанией «Пульс науки», эксперты поделились опытом в области мониторинга и оценки научных исследований.
Какова текущая ситуация в области оценки научной результативности?
Андрей ГУСЬКОВ, заведующий лабораторией наукометрии и научных коммуникаций Российского научно-исследовательского института экономики, политики и права в научно-технической сфере (РИЭПП)
— Уже 15 лет мы живём в условиях активного реформирования системы оценки научной результативности. Точкой отсчёта стал 2009 год, когда вышло постановление Правительства РФ № 312, в котором говорилось о том, что проведение такой оценки является обязательным и осуществляется не реже, чем раз в пять лет, с целью отнесения учреждения к одной из трёх категорий. В последний раз её провели в 2016–2018 гг., с тех пор прошло уже более пяти лет, и получается, что действующее постановление не выполняется. Более того, год назад были заявления об отмене категорирования, но изменений в нормативных документах пока не произошло.
2012 год — ещё одна важная веха. Указ Президента РФ ввёл показатель в 2,44% — столько российских публикаций в мировом потоке должно было появиться к 2015 г. Это произошло чуть позже, но главное, что тот документ дал старт гонке за публикациями, после которой во всех университетах появились ключевые показатели, связанные с Web of Science и Scopus. Это сопровождалось появлением недобросовестных практик: хищнические журналы и конференции, покупное авторство, фабрики статей.
В качестве ответа на эти вызовы сначала Федеральное агентство научных организаций, а потом Минобрнауки России предложили показатель, который назывался «комплексный балл публикационной результативности» (КБПР). Вводились понятие фракционного счёта, баллы за публикации, это снизило негативные эффекты, но полностью их не сняло.
8 февраля 2022 г. Совет по науке дал поручение Правительству РФ предусмотреть механизм оценки результативности научных исследований с учётом готовности технологий. В 2023 г. приказом Минобрнауки России уровни готовности технологий были введены, однако новый механизм оценки пока не появился. В марте 2023 г. был принят мораторий на применение показателей, основанных на данных Web of Science и Scopus, он действует до конца 2024 г. и, вероятно, будет продлён на 2025-й.
В 2022 г. рабочая группа при Минобрнауки России сформировала национальный список журналов, который сейчас называется «Белым списком». Фактически это было механическим объединением всех журналов из Web of Science, Scopus и Russian Science Citation Index RSCI). «Белый список» был разработан в Российском центре научной информации (РЦНИ), по нему сейчас фактически считается КБПР в Единой государственной информационной системе учёта результатов научно-исследовательских и опытно-конструкторских работ (ЕГИСУ НИОКТР), недавно трансформированной в домен «Наука и инновации» платформы «Гостех», однако формально его статус не закреплён, и есть вопрос, какую роль он станет играть в новой системе оценки.
Очевидно, что развитие систем оценки от категорирования до КБПР оказало заметное влияние на академический сектор науки. Но заметили ли это в университетской среде? Чего ожидают вузы от системы оценки? Как она влияет на их функционирование?
Денис КОСЯКОВ, заместитель заведующего лабораторией наукометрии и научных коммуникаций РИЭПП
— То, что происходит с российскими образованием и наукой с 2022 г., многие называют адаптационной трансформацией. Она осуществляется ещё и в условиях некоторого хаоса в системе оценки. С одной стороны, фактически остановилась комплексная экспертная оценка, связанная с категорированием организаций. Нет понимания того, каков статус чисто количественной оценки публикационной активности, и есть отчётливое стремление оценить «отгрузку» науки в народное озяйство, для чего тоже нет внятных показателей.
Фёдор КАБАНОВ, аналитик Департамента институционального развития Сколковского института науки и технологий (Сколтеха)
— Мы используем наукометрию в содержательном аспекте: для оценки потенциальных партнёров Сколтеха с целью выявления точек соприкосновения, анализируем, какие сферы развиваются. При найме сотрудников применяем наукометрические инструменты, чтобы понять, насколько тот или иной учёный может встроиться в нашу среду. Что касается формальных аспектов, то многие коллеги до сих пор ориентируются на Web of Science и Scopus. С моей точки зрения, это правильно. В стране есть перспективные направления, учёные мирового уровня, а есть сферы, которые проседают. Без ориентации на высококачественные журналы у нас просто нет специалистов, способных оценить те или иные исследования. Наукометрические показатели во многом заменяют экспертов.
Относительно «Белого списка» пока непонятно, как туда журналам попасть, транспарентность отсутствует. В перечне присутствуют издания, которые имеют очень странную цитируемость. Система живёт по негласным правилам, и это ненормально: критерии должны быть прозрачными для всех. Есть ещё одна важная проблема — языковая. В нашем институте все документы дублируются на русском и английском, но если мы говорим о международных партнёрах из БРИКС, то там большинство публикаций осуществляется на английском языке. Более того, основным бенчмарком для китайской науки и университетов Саудовской Аравии остаётся Web of Science.
В целом не следует забывать, что наукометрия — это не просто оценка, но понимание своей роли, она не для того, чтобы кого-то наказать, а для навигации. Считаю, что национальная система оценки должна быть более показательной, чтобы можно было зайти и оценить, с кем стоит коллаборировать, а не замыкаться на рейтинге. А государству подобная детализация позволит финансировать не столько целые институты, сколько конкретные направления.
Максим КОНЯЕВ, начальник Управления наукометрии и рейтингового продвижения Российской академии народного хозяйства и государственной службы (РАНХиГС)
— Важно смотреть на критерии оценки в том числе как на систему ценностей, которая что-то сообщает. Это хороший способ макровзгляда: я за то, чтобы каждый университет или факультет определял свои приоритеты, но они должны координироваться с общим инструментарием, изначально выданным государством. Сейчас система ценностей не проработана, не опубликована на формальном уровне. Если у нас задача — распространить информацию о достижениях российской науки по всему миру, то важно, чтобы наши авторы публиковались и в зарубежной периодике, а российские журналы — входили в международные базы данных.
Татьяна ПОЛЕЖАЕВА, директор центра содействия публикационной активности и по работе с ведущими учёными Томского государственного университета
— От многих учёных, особенно гуманитарного цикла, я слышала тезис о том, что наукометрия убивает настоящую науку. Сторонники этой позиции исходят из того, что нередко наукометрические исследования подменяют научную деятельность. Но наукометрия — это «зеркало заднего вида», в которое обязательно надо смотреть, развивая свои проекты. Для нас наукометрические показатели не являлись самоцелью. Публикация — прежде всего результат работы слаженного коллектива. При проектировании программы развития мы опирались на то, что благодаря форсайт-исследованиям, анализу показателей вуза и других университетов есть возможность не просто предлагать какие-то технологические решения для существующих рынков, но проектировать новые рынки, которые станут популярными через 5–10 лет. В этом большую роль играют наукометрические инструменты.
Благодаря наукометрии нам удалось полностью пересобрать деятельность нашей библиотеки. Очевидно, что знание международной составляющей требует наличия среды, выращивающей кадры, формирующей систему ценностей вуза. Оптимальным местом для этого, в нашем представлении, стала научная библиотека. Поэтому у нас появился первый в стране круглосуточный зал, где могут заниматься студенты, отдельный исследовательский зал, где само пространство настраивает на то, чтобы проводить исследования, работают сотрудники, способные помочь сформировать цифровой профиль учёного.
Если говорить о продвижении результатов научной деятельности, то это перезагрузка системы научных журналов. Если ранее она была ориентирована на внутренний рынок, то выход на международную науку состоялся благодаря участию в программах «5-100» и «Приоритет 2030» и наукометрическим подходам, которые тогда появились. Действительно, смена системы ценностей, координат и учёт их в текущей деятельности — это важная задача.
Какие принципы должны лежать в основе стимулирования научно-исследовательской деятельности в университете?
Максим Коняев:
— Мы в последние годы сталкивались с большим количеством практических проблем, поскольку университет находится в стадии долгосрочной трансформации и смены вектора качественного развития. Часто возникают вопросы, как оценить то или иное направление, как сделать выбор между определённой исследовательской группой и выпуском научного журнала. Такие задачи к нам очень часто поступают от финансового блока — от людей, которые мыслят конкретными цифрами. Поэтому когда мы работаем над системами стимулирования и поддержки финансирования, например научных журналов, говорим о той выгоде, которую данный проект или научный коллектив приносит своей организации. Журнал может быть формата Open Access, бесплатным и для автора, и для читателя. И если оценивать его баланс, это только расходы: зарплата команды, затраты на печать, а доходы всегда будут нулевыми. Но если при этом рассмотреть производственные цепочки университета, в которые встроены публикации в данном журнале, рейтинговые показатели, какие он даёт, то он приносит большую пользу. Поэтому при создании системы стимулирования надо оценивать каждое конкретное действие учёного или издания: что оно даёт вузу.
Простой пример: публикация в первом квартиле Scopus даёт плюсы и в ядре Российского индекса научного цитирования (РИНЦ), и в наших отчётах, и в показателях проекта «Приоритет 2030». Если автор участвует в конкурсе грантов, то публикации здесь тоже важны, как и в рейтингах, где они влияют на итоговый балл. А рейтинги конвертируются в успешную приёмную кампанию. Отчёты, рейтинги, грантовая активность — это не один год и не одна публикация, а интервалы. В течение ряда лет эта публикация обеспечивает самые выгодные для вуза активности.
Фёдор Кабанов:
— В Сколтехе нет как таковых журнальных показателей, никто на них не ориентируется. Просто в университете сформирована высококлассная среда учёных, и, если они будут публиковаться в мусорных журналах, это испортит их репутацию. Кроме того, предложенный подход говорит о том, что надо здесь и сейчас выжать из публикации всё, и не говорит о том, что можно заработать на каких-то разработках, если их коммерциализировать. Когда вы работаете на фронтире, есть исследования, которые плохо цитируются, но дают долгосрочную отдачу. В целом в вузе надо формировать такую среду, которая сама себя регулирует.
Татьяна Полежаева:
— В нашем университете ряд коллег ратовал за формализацию всех показателей, вплоть до эффективного контракта, их противники отстаивали подход с заделом на будущее: ситуация может поменяться, исследование — «выстрелить», перейти в раздел подготовки технологий и т.д. В этом плане победила вторая линия. Говоря про систему стимулирования научно-исследовательской деятельности, мы имеем в виду разветвлённую сеть различных мер, которая может быть применена к научным коллективам разного уровня. В проекте «Приоритет 2030» у нас все научные группы подразделяются на молодёжные лаборатории, отдельные научные коллективы, лаборатории мирового уровня и инициативные проекты. Последние представляют собой как раз посевные инвестиции — это проекты, которые финансируются на год, и, если они показывают хорошие результаты, у них есть шанс перейти в класс отдельных научных групп. Там финансирование предусмотрено уже в течение двух лет. Лаборатории мирового уровня — топовые коллективы, и доплачивать им за публикации в журналах первого квартиля бессмысленно. Это коллективы, работающие на фронтире, для них высокорейтинговые публикации — обыденность. Мы как центр публикационной активности оказываем им консультационные услуги относительно быстроменяющегося ландшафта, помогаем собрать текущие заявки, аналитику по форсайтам и т.п. Система предусматривает стимулирование как материальное, так и нематериальное. Признание коллег — немаловажный момент, позволяющий исследователям двигаться вперёд. Молодёжные коллективы, показывающие хорошие результаты, получают дополнительное финансирование для участия в командировках, топовых конференциях и т.д.
Очевидно, что такие ресурсы, как Web of Science и Scopus, до сих пор полезны и нужны, но проблема в том, что сейчас в России они труднодоступны. В общей подписке их нет, напрямую доступ не продаётся, но иногда он появляется. Самый понятный способ — рецензирование статей в журналах Elsevier, для чего издательство даёт персональный доступ к Scopus на 30 дней. Где сейчас можно найти необходимую информацию с учётом ограничений? Какую позицию могут занять Web of Science и Scopus в новой систем оценке научной деятельности?
Татьяна Полежаева:
— Что касается источников информации, то всё зависит от решаемых задач. Если необходимо показать данные в соответствии с методикой проекта «Приоритет 2030», то обращаемся к цифрам Web of Science и Scopus. Scopus у нас работает по API, в России он таким образом доступен, и сведения можно выгрузить, хотя и в урезанном формате. Если говорить о заявках в Российский научный фонд, то перечень баз значительно расширяется. Это и RSCI, и зарубежные библиографические базы, а это огромное количество тематических индексов, мы рассматриваем всё, что есть, кроме Google Scholar. Рейтинги университетов также переориентируются. Интерфакс сейчас опирается на RSCI и ядро РИНЦ, при этом из других баз он просит данные по Semantic Scholar, Google Scholar и др. Когда коллеги подавали сведения на жилищные сертификаты, работали с «Белым списком» научных журналов. В зависимости от уровня журнала в «Белом списке» присваивалось определённое количество баллов. Всё это многообразие баз данных, когда одна и та же публикация отражается в разных «зеркалах», весьма осложняет нашу работу. Тем не менее в университете есть качественная модель управления научной и инновационной деятельностью, это CRIS-система, которую разрабатывали с 2020-х гг., включающая возможность получения информации по различным спискам. Если надо построить отчёт по КБПР, то в университете выходит порядка 6 тыс. публикаций, это десятки тысяч строк, огромная таблица. Его автоматически выводит наша система, включая в том числе информацию о необходимых индексах, идентификаторах, связывает статью с персональными данными автора и т.д. Если хотим оценить молодёжную науку, то студенты, аспиранты и начинающие учёные имеют в системе свои индексы.
Максим Коняев:
— Для нас более актуальна проблема несоответствия друг другу баз: если кто-то что-то посмотрел по РИНЦ и туда не подгрузились публикации из Scopus, нам задают вопрос, почему у этого учёного с большой публикационной активностью там нет статей. А их нет, потому что он публикуется в иностранных журналах и в РИНЦ эти статьи подтягиваются, но непонятно, с какой периодичностью. Стараемся устранять этот дисбаланс, чтобы выдавать качественные рекомендации по большим массивам публикаций и их авторов. Что касается сервисов открытой наукометрии, то они доступны по API, ими можно и нужно пользоваться.
Фёдор Кабанов:
— Мы берём данные из DBLP по конференциям уровня А* по компьютерным наукам, коллаборируя с некоторыми другими организациями по поводу поиска таких конференций, обмениваемся с ними научной информацией. При подписке на Web of Science и Scopus этого не требовалось. К сожалению, страдает точность данных и увеличиваются трудозатраты. Работая с наукометрической аналитикой сегодня, мы тратим огромное количество времени. Возможно, система ID Science при некоторых доработках сможет удовлетворить наши потребности.
Какие ключевые факторы вы видите в определении качества научных исследований? Как современные системы диагностики результативности могут учитывать их? Существуют ли эффективные методики, позволяющие не только количественно оценить результативность, но и измерить вклад исследователя в развитие науки и общества?
Фёдор Кабанов:
— Думаю, что качество можно оценить только лонгитюдным методом, и чем больше промежуток времени, тем лучше это получится сделать по различным метрикам, таким как цитируемость, качество журналов, представленность исследования в дальнейших разработках. Есть система Science Citation Index (SCI) которая позволяет приблизительно это измерить.
Денис Косяков:
— В текущей ситуации оценить вклад исследования за пределами науки можно только экспертным методом. Надёжных, общественно принятых количественных методик е существует, количественные показатели неоднозначны, могут быть сфальсифицированы. Правда и экспертный подход обладает рядом недостатков, прежде всего потому, что он по определению субъективен. Однако в британской системе оценки результативности REF есть попытка оценки экспертным методом вклада исследователя в развитие науки и общества.
Татьяна Полежаева:
— Когда мы говорим о фундаментальных исследованиях, в качестве метрики оцениваем то, какое финансирование они принесли извне, из различных научных фондов, в том числе за счёт международных и российских грантов. Результативность тоже может выражаться в количественных показателях. Если говорить о прикладных исследованиях, это, безусловно, заработанные с их помощью деньги.
Сегодня практически в каждой организации есть сотрудники, занимающиеся наукометрией и публикационной аналитикой, вопросами оценки научной результативности. При этом между ними нет сложившейся профессиональной коммуникации, сообщество остаётся разделённым, нет общих представлений, да и у органов государственной власти достаточно примитивное представление о том, как науку надо оценивать и финансировать. Нужна ли нам профессиональная организация? Какие формы взаимодействия могли бы быть интересны?
Татьяна Полежаева:
— Безусловно, недостаток профессионального общения сильно ощущается, хотя есть отдельные чаты специалистов, занимающихся сопровождением проектов в ЕГИСУ НИОКТР. Есть чат для сотрудников, занимающихся научной отчётностью. Но профессиональный подход, который позволил бы обменяться мнениями, посмотреть со стороны, а не из контекста текущей реальности, необходим.
Фёдор Кабанов:
— Считаю, что такая площадка не нужна, потому что на всех конференциях по наукометрии я слышу одни и те же доклады. Не думаю, что это обеспечит новые идеи и приток свежей крови.
Максим Коняев:
— Не думаю, что нужна ассоциация, более эффективным представляется формат консорциума. В организациях уже есть подразделения, их можно объединить. Мы всегда получаем очень много от общения с другими организациями, потому что везде используются разные идеи, много нюансов связано с категорией вуза. Если бы общение было регулярным и его не нужно было организовывать специально в командировках, это было бы полезно. Но задача сложная, и не знаю, кто готов за неё взяться. Сейчас мы можем обсуждать наши текущие дела на площадках Ассоциации научных редакторов и издателей (АНРИ), и конференция «Научное издание мирового уровня» всегда была местом, куда приезжало много хороших наукометристов. Если расширить наукометрическую секцию в рамках этой конференции или АНРИ в целом, это уже обеспечит достойную площадку.
Ещё один аспект. Профессиональная коммуникация может быть между наукометристами разных организаций, а есть ещё взаимодействие наукометриста с сотрудниками. Проводя вебинары для сотрудников, объясняя базовые моменты, мы получаем качественную обратную связь. Это очень востребованно, всегда много вопросов. И это даже не наукометрия, а просто понимание того, как осуществляется финансирование науки, научно-финансовая грамотность, уровень которой в масштабах страны довольно низкий. Мы обладаем знанием, даже простейшие аспекты которого очень ценны. Поэтому имеет смысл проводить семинары, вебинары, встречи на разные темы, начиная с того, как правильно заполнить профиль в РИНЦ, до того, следует ли загружать работы в репозиторий, что это даёт. У нас очень популярен формат о принципах самостоятельной оценки научной активности. Многие исследователи знают журналы в своей сфере, но, чем RSCI отличается от ядра РИНЦ, из чего это ядро состоит, девять учёных из десяти не смогут ответить. Важен ли он, для того чтобы себя уверенно чувствовать в мире науки? Наверное, для топ-специалиста не очень. А аспиранту, молодому учёному это понимать необходимо. То же самое с хищническими журналами: их признаки для многих учёных неочевидны.
Мероприятия компании «Пульс науки»: https://pulsescience.ru/news
Рубрика: Свободный микрофон
Год: 2024
Месяц: Декабрь
Теги: Татьяна Полежаева Андрей Гуськов "Пульс науки" Наукометрия Научные журналы Денис Косяков Научные исследования Научный контент Федор Кабанов Максим Коняев
